Formal modeling in psychology

Buridan’s Ass

Felix Schönbrodt

felix.schoenbrodt@psy.lmu.de

Ludwig-Maximilians-Universität München

2023-09-06

A theory crisis in psychology?

The relation of data and phenomena

%%{ init: { 'flowchart': { 'curve': 'natural' } } }%%
flowchart LR
  T(Theory)
  P(Phenomena)
  D(Data)
  
  T -- "Explanation" --> P
  P -- "Abduction" --> T
  P -- "Prediction" --> D
  D -- "Generalization" --> P

The relation of data and phenomena 1

%%{ init: { 'flowchart': { 'curve': 'natural' } } }%%
flowchart LR
  P(Phenomena)
  D(Data)
  
  P -- "Prediction" --> D
  D -- "Generalization" --> P

Phenomena: Stable and general features of the world in need of explanation. Can be understood as robust generalizations of patterns in empirical data. They are the explanatory targets for scientific theories.

Data: Relatively direct observations. Refer to particular empirical patterns in concrete data sets rather than empirical generalizations (which would be phenomenona).

The relation of data and phenomena 2

%%{ init: { 'flowchart': { 'curve': 'natural' } } }%%
flowchart LR
  P(Phenomena)
  D(Data)
  
  P -- "Prediction" --> D
  D -- "Generalization" --> P
  
  linkStyle 1 stroke-width:2px,stroke:red,color:red;

Data provide evidence for the existence of empirical phenomena: You generalize from one or more data sets with strong evidence to a general phenomenon.

To claim a (robust) phenomenon, you ideally need:

Independent replications of specific operationalizations.
Conceptual replications with different operationalizations.

The relation of data and phenomena 3

%%{ init: { 'flowchart': { 'curve': 'natural' } } }%%
flowchart LR
  P(Phenomena)
  D(Data)
  
  P -- "Prediction" --> D
  D -- "Generalization" --> P
  
  linkStyle 0 stroke-width:2px,stroke:red,color:red;

Phenomena (once their existence has been established) predict similar data patterns in new data sets of the same operationalization (as in “direct replication”) and ideally also for new operationalizations (as in “conceptual replication”).

Interlude: The risky shift phenomenon 1

The risky shift phenomenon: A group’s decisions are riskier than the average of the individual decisions of members before the group met (i.e., the group discussion made individuals riskier).

Area of very active research in social psychology in the 1960s
“It could be easily replicated. Most of the replication studies […] employed the CDQ as their stimulus set, and they generally had no trouble obtaining the basic risky shift result.”
Today we know that there is no risky shift. “It is now clear that the items contained in the original CDQ are in no sense a representative sample of the universe of all possible items. Instruments similar to the CDQ could readily be constructed whose scores would display risky shifts, cautious ones, or none at all” (Cartwright, 1971, p. 368).
In the early risky shift literature, theoretical progress was unnecessarily impeded by multiple generations of replication studies (k ⋍ 200), nearly all relying on the same CQD questionnaire.

Interlude: The risky shift phenomenon 2

Question for discussion: Is “risky shift” a phenomenon?

My take: It is a phenomenon (though a weak one), as it generalizes to new instances (data sets) of the same operationalization. It is a phenomenon of this specific stimulus set and suggests certain types of research questions (e.g., “What is so specific to this stimulus set?”).

Replication crisis: Focus on phenomena <–> data 1

%%{ init: { 'flowchart': { 'curve': 'natural' } } }%%
flowchart LR
  P(Phenomena)
  D(Data)
  
  P -- "Prediction" --> D
  D -- "Generalization" --> P

The concerns of the replication crisis typically referred to the relation between data and phenomena:

Does a pattern in a specific data set even exist? (Or is it a false positive?)
If we found a reproducible pattern with a specific operationalization: Is it generalizable (to other measures, other cultural contexts, other samples)?
Do we even have a phenomenon in a particular research line? How strongly should I belief in the existence of a phenomenon, given the empirical evidence?

Replication crisis: Focus on phenomena <–> data 2

%%{ init: { 'flowchart': { 'curve': 'natural' } } }%%
flowchart LR
  T(Theory)
  P(?? Phenomena ??)
  D(Data)
  
  T -- "Explanation" --> P
  P -- "Abduction" --> T
  P ---> D
  D -. "?? Generalization ??" .-> P
  
  linkStyle 2 stroke-width:0px,stroke:grey,color:grey;
  linkStyle 3 stroke-width:2px,stroke:red,color:red;

Doubt about phenomena propagates to theories: If there is no phenomenon to explain, any explanatory theory gets obsolete.

From replication crisis to theory crisis

“We argue that a further cause of poor replicability is the often weak logical link between theories and their empirical tests.”

Buridan’s Ass

Buridan’s Esel

„Ein Esel steht zwischen zwei gleich großen und gleich weit entfernten Heuhaufen. Er verhungert schließlich, weil er sich nicht entscheiden kann, welchen er zuerst fressen soll.“

„The man who is violently, but equally, hungry and thirsty, and stands at an equal distance from food and drink, and who therefore must remain where he is.“

Aristoteles: De Caelo/On the Heavens. Trans. W. K. C. Guthrie, Heinemann, London 1938, 2:13:295b (S. 237)

The demiurg

“Die Gnosis kannte die Gestalt des Demiurgen, eines Schöpfergottes von niederem Rang, der von der Hochgottheit den Auftrag erhalten hatte, den Kosmos zu erbauen”
N. Bischof (in prep, S. 143)

Das demiurgische Prinzip

Der Forscher, der eine komplexe Struktur verstehen will, ist gut beraten, wenn er sich in die Rolle eines solchen Demiurgen versetzt und sich vorstellt, er hätte sie selbst konstruieren müssen. Natürlich muss er dafür eine begründete Vermutung haben, was sie leisten soll. Leistung schließt immer eine Zielvorgabe ein, die Arbeit des Demiurgen läuft also naturgemäß im Rahmen einer telischen Heuristik ¹ ab.
N. Bischof (in prep, S. 143)

Demiurgisches Prinzip (vorläufige Fassung)

Note

Wäre ich ein Ingenieur, der einen Mechanismus so konstruieren soll, dass er eine Leistung des Organismus ebenso gut wie dieser erbringt und dabei möglichst dieselben Fehler macht – wie würde ich dann vorgehen?

Gruppenübung: Cover your ass, Level 1

Szenario: In der Umwelt gibt es eine Futter- und eine Wasserquelle, die substantiell voneinander entfernt sind (es gibt eine Reisezeit, um von der einen zur anderen zu kommen). Der Esel hat einen allgemeinen Metabolismus, der kontinuierlich Futter- und Wasserreserven im Körper verbraucht; dieser Verbrauch ist höher bei körperlicher Aktivität. Sobald eine der beiden Reserven im Körper auf Null fällt stirbt der Esel.

Annahmen:

Fixe Geschwindigkeit v vom Esel
Lineare Abnahme der Wasserreserve im Körper
Lineare Abnahme der Futterreserve im Körper
Die Futter- bzw. Wasseraufnahme dauert eine substantielle Zeit und findet in Schlucken statt (z.B. 1 Einheit pro Minute)
Der Esel hat eine Repräsentation der Umwelt und weiß, wo die beiden Quellen sind.

Aufgabe: Konstruiere einen Organismus, mit möglichst wenigen Annahmen, der möglichst lange überlebt. Welche Konstrukte / Sensoren / Fähigkeiten sind dafür notwendig?

Demiurgisches Prinzip (endgültige Fassung)

Note

Wäre ich ein Ingenieur, der, aufbauend auf der letzten funktionstüchtigen Vorform, einen Mechanismus so konstruieren soll, dass er eine Leistung des Organismus ebenso gut wie dieser erbringt und dabei möglichst dieselben Fehler macht – wie würde ich dann vorgehen?

End

Contact